Vortex: Efficient and Programmable Sparse Attention Serving for AI Agents
Vortex：面向AI Agent的高效可编程稀疏注意力服务系统
🧭 稀疏注意力服务系统 · AI Agent 自动化研究 ★ 深度解读
Carnegie Mellon University · Rice University · National University of Singapore
一个将稀疏注意力算法表达、部署与评估深度融合到LLM服务框架中的系统，使AI Agent可自动生成并迭代优化稀疏注意力，实现高达3.46倍吞吐提升且保持精度。
📌 工作参考价值（4 点）
- 可编程的稀疏注意力抽象（vFlow）：通过两阶段（缓存预处理与查询索引）的简单编程模型，快速实现各种动态稀疏模式，避免大量重写底层算子的工程开销，可直接借鉴到推荐模型中对长序列注意力的定制化改造。
- 兼容现有服务基础设施的vTensor抽象：原生支持分页KV cache、prefix caching等，确保理论加速转化为端到端吞吐提升，这种“不破坏现有栈”的设计思路可迁移到推荐系统大模型推理优化中，减少与生产环境的脱节。
- AI Agent 驱动的算法自动搜索与迭代：论文展示了AI代理利用Vortex一次性生成多样性稀疏算法并在长周期自主优化，形成精度-吞吐 Pareto 前沿，此类结合系统快速反馈的自动化调优流水线可应用于推荐模型的超参数搜索或结构优化。
- 随机化 radix top-k 的精度-速度权衡：通过随机早停降低 top-k 计算开销，可应用于推荐系统中高效召回或注意力选择阶段的 top-k 操作，在轻微精度损失下换取显著加速。